HERD：面向持续学习的 Harness 演进递归蒸馏
🧭 持续学习混合框架 · 递归蒸馏
Monash University · University of the Sunshine Coast
提出混合持续学习框架 HERD，用 harness 技能库与有界残差记忆结合双锚漂移约束蒸馏，实现新任务获取与低遗忘。
📌 工作参考价值（4 点）
- 在电商/Agent 持续迭代中，可借鉴「skill/harness + 有界高残差样本库」做快速适配：新任务/新类目先用上下文技能处理，只把模型反复出错的高价值样本沉淀为记忆，避免全量重训。
- 蒸馏策略：定期把 harness 记忆蒸馏回基座模型时，采用双锚点（初始 checkpoint + 上一版蒸馏模型）做漂移约束，能缓解长时间递归更新中的遗忘，适合需要频繁发版/增量训练的推荐模型或 Agent policy。
- 资源固定：HERD 在固定 memory 与 compute 预算下运行，给生产环境提供了一个可落地的约束范式：不无限增长上下文/记忆，通过递归蒸馏滚动内化经验，保持线上成本稳定。
- 注意：论文面向通用 LLM 持续学习，不是推荐系统专用；但其中「技能库 + 残差记忆 + 双锚蒸馏」的架构可迁移到多域推荐、搜索 query 策略或客服 Agent 的持续优化。
仅用 In-Context 示例实现无需训练的 Dense Retrieval
🧭 LLM 免训练 dense retrieval ★ 深度解读
University of Waterloo · The University of Queensland
RICE 用少量 in-context query-document 示例直接提示 LLM 生成 dense 表示，免训练，在 BEIR 上显著超越同类零样本检索方法
📌 工作参考价值（4 点）
- 电商搜索/召回可直接复用：用少量人工标注 query-商品对作为 in-context examples，prompt 自有 LLM 生成 query 侧向量和商品侧向量，再接入 FAISS 做 ANN 召回，省去微调检索模型；商品侧离线预计算，query 侧实时生成，工程上可用 vLLM 加速。
- 动态 exemplar selection 值得落地：查询时先用 BM25 从示例池检索与当前 query 最相似的示例，能进一步提升召回（FiQA/NFCorpus/SciFact 上均有增益），适合电商 query 改写或召回场景。
- 通过换更大/更强的 LLM 可直接提升检索效果，无需重新训练，RICE 用 Qwen3.5-9B 比 Qwen3-8B 平均高 1.6 点，说明 LLM 能力提升能直接迁移到检索表示。
- 示例标签不必精准：同域 query-doc 对（甚至 random / non-relevant 对）都能带来提升，shuffled/blank 代表词影响很小；因此收集少量同域语料即可，不必精细标注相关性，但要避免跨域示例。
TabFM：表格数据的零样本基础模型
🧭 表格基础模型 · 零样本学习 ★ 深度解读
Google Research
400M参数表格基础模型，以in-context learning实现零样本监督预测，在TabArena 51数据集上超越AutoML与现有表格基础模型
📌 工作参考价值（4 点）
- 针对推荐/广告中的表格数据预测（CTR/CVR、用户行为特征建模），可以借鉴 TabFM 的行列解耦注意力：列向 ISAB 做 O(T·m) 跨样本聚合，行向 SAB + RoPE 做特征交互，CLS tokens 池化支持 16k 样本不爆炸，适合大规模样本 in-context 推理。
- TabFM+ 的推理期多视图增强很实用：随机列排列 + 交叉特征/SVD 特征注入 + NNLS 集成 + Platt 校准；在冻结模型权重下即可提升稳健性，可低成本迁移到现有特征工程管线。
- TabFM-Auto 思路：用 LLM 生成特征工程代码，内部闭环 CV 评分迭代，冻结主模型权重；可借鉴做推荐系统特征自动发现，如交叉特征、聚合特征、目标编码等，减少人工试错。
- 纯合成 SCM 数据训练的通用表格表示能零样本迁移，提示可以构建因果结构模拟用户/物品特征生成，减少对真实标签数据的依赖，用于冷启动或小样本场景。
MILO：基于块级低秩压缩的高效多示例上下文学习
🧭 LLM 推理 · KV cache 低秩压缩
Google · University of Central Florida
利用块级低秩压缩和基于信息熵的动态秩分配，将多示例ICL的KV缓存降低50%、吞吐提升1.8倍
📌 工作参考价值（3 点）
- 在电商推荐/Agent场景中，常需将用户历史行为、商品描述或工具调用日志构造成超长上下文做 many-shot ICL，KV cache 内存是线上服务瓶颈；可借鉴 MILO 的块级低秩压缩，对 KV cache 分块进行 SVD 低秩近似，减少显存占用并提升吞吐。
- 动态秩分配策略：根据信息熵（或实际可用的 attention score 分布）评估每个块的重要性，对高信息密度块保留更多秩，对冗余块大幅压缩；这一思想可迁移到推荐系统的长序列用户建模或 Agent 对话历史压缩，避免均匀压缩导致关键信息丢失。
- 工程实现上，MILO 在 Qwen2.5 上达到 50% KV cache 内存降低和 1.8× 吞吐提升，且分类/推理基准性能几乎无损，说明低秩压缩可作为 LLM 在线推理的默认优化手段，尤其适合广告/推荐场景中的大模型 serving。
Transformer 作为跨任务学习者：共享结构驱动上下文学习样本效率
🧭 ICL 理论 · 跨任务泛化
首次用覆盖数量化跨任务低维结构并构造 Softmax Transformer 实现 ICL 近似与泛化
📌 工作参考价值（4 点）
- 多任务预训练/指令微调时，优先构造共享底层结构的任务族（如同品类推荐、同类型 query 改写），低维任务流形可让模型在小 prompt 下完成新任务；不必盲目堆长上下文示例。
- 覆盖数/锚函数思路可迁移为“任务原型检索”：对电商 Agent 或推荐场景，先对历史任务评估函数做聚类得到代表性锚点，再对新请求做软匹配与加权聚合，缩小检索与推理空间。
- 误差界表明：当预训练任务数量足够覆盖任务空间时，prompt 长度依赖显著下降。这支持工程上优先扩充任务多样性、而非仅增加单任务样本数量。
- 主要仍是学术贡献，直接可落地的算法较少，但可为多任务模型的任务划分、数据配比与上下文长度选择提供理论直觉。
激活记忆与参数记忆在小样本学习中的互补作用
🧭 LLM记忆机制与测试时训练
Northeastern University, Shenyang, China · NiuTrans Research, Shenyang, China
系统比较LLM中激活记忆与参数记忆的差异，发现事实回忆靠激活记忆，复合任务需二者协同
📌 工作参考价值（4 点）
- 在电商/Agent 的上下文管理中，事实性信息（如商品属性、历史订单）放进 KV cache 或 prompt 即可稳定回忆，不必为此做在线参数更新。
- 对需要“先查事实再执行新规则”的复合任务（如促销规则叠加用户偏好），仅靠 ICL 或仅靠微调都不够，架构上应同时保留激活记忆和轻量参数更新两条路径。
- 神经元分析表明两类记忆激活不同神经元群：模型可解释性排查时，可判断失败原因是上下文丢失还是参数适应不足，再针对性修复。
- 整体为机制研究，业务可借鉴点有限，但可作为混合记忆设计（RAG + 测试时训练）的理论依据。
将视觉语言模型智能迁移至机器人控制
🧭 VLM Agent 闭环控制机器人
Tsinghua University · Tencent Hunyuan
通过离散动作接口与闭环 ICL，使 VLM 零/单样本控制机器人并达 SOTA
📌 工作参考价值（4 点）
- 离散动作接口设计：将连续控制空间抽象为紧凑离散命令集，让 LLM/VLM Agent 通过标准化 API 控制底层系统（如推荐引擎参数、广告出价），提升决策稳定性和可解释性。
- In-context learning 快速适配：用 1-2 个演示示例让通用大模型零样本/小样本适配新任务（如新品类推荐策略、活动文案风格），避免每任务微调，降低迭代成本。
- 闭环反馈框架：借鉴“观察-推理-执行-观察”闭环，构建自主优化 Agent，例如在实时推荐中根据用户行为反馈动态调整排序策略，而非静态输出。
- 通用模型知识迁移：论文显示通用 VLM 零样本可超越任务专用策略，启示业务中可优先用通用 LLM 处理非核心子任务（如 query 改写、解释生成），再决定是否投入专门训练。
基于VLM Agent的上下文机器人学习
🧭 VLM Agent 机器人上下文学习
Morphi Robot · Shanghai Innovation Institute · Huazhong University of Science and Technology · Fudan University · Hunan University
GPT-Policy将VLM agent用于机器人上下文学习，通过context compiler与constrained controller把演示和反馈转为可执行动作，无需梯度更新
📌 工作参考价值（3 点）
- 借鉴 context compiler：不要把所有用户行为或物料序列塞进 prompt，而是抽取任务相关 transition（如 query→click→cart、曝光→点击→转化）压缩成示范对，降低 token 成本、减少噪声，提升 LLM agent 动作提案质量。
- 在 LLM 生成推荐动作或查询改写后，增加一层 constrained controller/verifier：先做业务规则校验（类目、库存、价格、合规）再执行，并把执行结果回写上下文，形成闭环自纠错，适合电商 Agent 可靠上线。
- 弱监督示范可用：仅用无动作标签的人类行为序列（点击/加购/购买）作为 in-context 示例即可提升任务完成度；在标注数据不足时，可先大量使用无显式 label 的序列构造上下文，再用少量对齐动作对（如 query-rewrite pair、next-item ID）提升高敏任务效果。
跨模态上下文学习的收敛性涌现
🧭 跨模态涌现的 in-context learning 规律
Johns Hopkins University · MIT · University of Illinois Urbana-Champaign
在六种模态中验证 few-shot ICL 普遍涌现，且任务难度效应在五个模态间相关，支持部分收敛涌现假设
📌 工作参考价值（4 点）
- 跨模态 ICL 在时序、基因组等非文本序列上有效，提示在电商推荐中可将用户行为序列、商品曝光序列视为另一种模态，用 few-shot 示例进行下一个交互预测或兴趣迁移。
- 论文中的 paired-mapping 任务套件可作为统一评测框架，业务上可构建类似的「输入-输出映射」任务集，快速测试不同基础模型在推荐/搜索数据上的 few-shot 适配能力，筛选适合 ICL 的任务类型。
- 任务效应在多数模态间相关，说明任务难度的跨模态一致性；在为新业务场景选择可 ICL 的任务时，可以参考其他模态（如文本）上的难度排序，降低试错成本。
- 对无法用自然语言指令描述的非语言任务（如 ID 序列、embedding 序列），few-shot ICL 可能是唯一有效的条件化机制，值得在搜索/推荐中储备这类能力以应对冷启动或新任务快速上线。
利用上下文集成统一保形语言任务
🧭 Conformal Prediction 与上下文集成评分
Signal 1 AI · Layer 6 AI
提出 Conformal Relevance 框架，用上下文样例策展与集成构建评分函数，兼顾覆盖与简洁并减少手工提示工程
📌 工作参考价值（4 点）
- 在电商搜索/推荐中需要覆盖与简洁平衡的场景（如搜索摘要、推荐理由生成、广告文案过滤），可直接用 conformal prediction 校准 LLM 评分，自动保证覆盖率，同时优化简洁性，替代手工规则。
- 用历史标注数据策展少量高质量上下文示例，替代逐任务写 prompt 评分函数，降低多类目、多任务场景下的维护成本；示例多样性提升评分鲁棒性。
- 集成多个 LLM 评分或同 LLM 的不同示例组合，利用文中 complementarity condition 判断是否有助于提升最差情况得分，指导工程上选择有效集成方案，用于粗排或候选过滤。
- 在生成式推荐中，若要保证生成内容覆盖关键卖点且不冗余，可借鉴该框架对生成结果做 conformal 筛选，同时用上下文集成提高简洁性判定质量。
因果基础模型
🧭 因果推断 · In-context Learning
Layer 6 AI, Toronto, Canada · TD Bank Group, Toronto, Canada
提出因果基础模型（CFM），在大规模合成数据上预训练，对新数据集通过 in-context learning 零样本估计因果效应
📌 工作参考价值（4 点）
- 广告/Uplift 建模：将 CFM 作为预训练因果先验，在新 campaign 上零样本估计 ATE/CATE，减少冷启动数据需求；可先在小样本上验证策略效果，再决定是否训练专用模型。
- 合成数据流水线：参照 CFM 训练方式，在业务点击/转化模拟器中大规模生成含 treatment/control 的数据，预训练因果模型，再迁移到真实小样本任务上。
- Agent 决策：营销动作选择、定价折扣、Push 文案等场景中，可内嵌 CFM 估计不同动作的因果效应，避免仅用相关模型误判 ROI。
- 工程实现：论文开源代码和 notebooks 提供可复用的 CFM 架构与合成数据生成方法，可直接作为团队因果推理 baseline。
S3Gym：LLM 能否将自测与自评判转化为自我改进？
🧭 Agent 自改进能力评估基准
ByteDance Seed · M-A-P · TokenWave.AI
提出 S3Gym 交互基准，分离自测/自评/自改进并对比三种经验利用路径，揭示自改进受任务结构制约
📌 工作参考价值（4 点）
- 在对话式导购/搜索 Agent 中，把交互经验拆成两类：可复用策略走摘要记忆（如用户偏好规则、常见失败模式），精确状态依赖走原始历史/显式状态，避免用摘要丢失关键上下文。
- 参数更新（微调/RL）自改进不稳定且易负迁移，业务上优先用上下文/记忆注入做快速迭代，参数训练必须配套严格 held-out 环境与小流量回滚。
- 设计 agent 自改进评估时，把探索环境与线上评测分离，用可执行验证器做沙箱诊断；重点关注模型能否把反馈转化为策略，而非只看成功动作识别率。
- 对推荐/广告场景的 Agent 策略优化，先判断任务结构：规则型任务可压成规则库，状态敏感任务保留轨迹；可借鉴 S3Gym 的评估协议做离线自我改进能力审计。
CritICL：利用小模型失败模式实现推理时弱到强泛化
🧭 推理时弱到强泛化 · 失败模式检索 ★ 深度解读
The Ohio State University · Princeton University
用同家族弱模型失败模式构建离线批判库，推理时按失败模式检索注入大模型，单次生成匹配多次采样性能
📌 工作参考价值（4 点）
- 建立业务侧“失败模式 CritBank”：用较小/便宜的模型或线上历史 badcase 生成错误响应，由强 LLM 离线标注失败类型和纠正说明；在 query 理解、商品属性抽取、推荐理由生成等任务中，把失败模式预测或静态画像作为检索键，从库中取示例注入 prompt，减少在线多路采样成本。
- 检索键从语义相似度改为失败模式/错误类型：实验显示比随机、固定、语义相似度检索高 4-6 个点；推荐场景可先预测用户/物品/请求的易错标签，再召回对应纠错示例，比只找相似 case 更直接规避模型系统性错误。
- 同模型家族多尺度失败分布稳定（Spearman 0.88-0.91），聚合多个弱模型比单一弱模型更贴近大模型；在模型升级或蒸馏时，可以用同架构旧小模型收集错误，指导新大模型上线前的 prompt 防御性设计或 few-shot 示例库构建。
- CritICL-static 只需单次生成即可达到 Consistency@5 效果，总 token 远低于 self-reflection 和 LLM-as-judge；适合线上延迟敏感、需要快速推理的 Agent 链路，也说明离线构建错误知识库比在线多路验证更划算。
UI-Mate：通过上下文演示提升开源权重基础 GUI 智能体
🧭 GUI Agent 训练与上下文演示
Tencent Hy Frontier Team
UI-Mate 结合环境驱动训练栈与上下文演示学习，在 OSWorld 等基准刷新开源 GUI 智能体 SOTA
📌 工作参考价值（4 点）
- 任务验证器与闭环数据引擎：可复用到电商 RPA、客服助手等 GUI 操作场景，用统一的 task–verifier bundles 自动化生成、过滤和平衡训练数据，减少人工标注。
- 演示学习的方式：将多模态演示转成 subtask-level workflow 而非刚性轨迹回放，同时允许从实时界面重新规划——适合电商中用户特定工具、隐性规则（如改地址需二次确认）的场景。
- 区分 self-demo 与 variant-demo：在构建演示数据库时，应分离同任务成功轨迹与相似但非同一任务的人类录制，有助于评估和提升模型对未见变体的泛化能力。
- 评测指标：除了 strict success，还引入 progress 指标，对长流程电商操作（如比价、下单、售后）更细粒度地反映中间进展，适合作为内部迭代指标。
对齐即一切：时间序列基础模型的免训练检索增强预测
🧭 检索增强预测 · 免训练时序对齐
Stanford University · Amazon
提出免训练的时序对齐方法Align-RAG，证明冻结模型自身即可动态利用检索上下文，无需训练适配器
📌 工作参考价值（4 点）
- 在电商销量/广告点击预测中，可直接使用“幅度缩放+相位平移”的对齐方法，将检索到的相似时间序列与当前序列对齐后输入冻结预测模型，无需训练任何适配器，降低工程复杂度。
- 用户行为序列预测（如下次购买时间、点击路径）可借鉴此思路：对检索到的历史行为窗口进行均值和方差归一化，并基于互相关计算最佳滞后，再作为冻结基座模型的上下文，有望提升零样本泛化能力。
- 对推荐系统的RAG设计启示：冻结大模型本身已具备动态利用检索上下文的能力，应优先采用无参数的输入对齐基线，避免过早引入可学习的融合模块，减少训练成本和过拟合风险。
- 工程实现简单高效：对齐仅需计算均值和方差（幅度缩放）及整数滞后（相位对齐），易于集成至现有检索增强推理流水线，可作为时序预测任务的默认基线。
持续技能基准：评估LLM智能体能否真正进化其能力
🧭 Agent连续技能学习评估 ★ 深度解读
Institute for Artificial Intelligence, Peking University · Beijing Institute for General Artificial Intelligence
构建动态评估框架，揭示顺序执行提升性能但技能库维护未显著超越纯上下文学习，技能泛化仍难
📌 工作参考价值（4 点）
- 纯上下文学习可替代复杂技能库：在电商Agent的工作流中，对于简单的顺序任务（如用户意图识别→商品推荐→生成文案），直接利用对话历史和反馈的上下文学习表现与维护显式技能库相当，可以简化系统设计，避免技能库膨胀。
- 警惕技能碎片化：弱模型容易生成大量任务特定技能且复用率低，导致检索负担加重。可以设计技能合并策略（如定期聚类相似技能并泛化）或设置技能池容量限制，通过淘汰低频技能来维持效率。
- 任务流设计需注入技能依赖结构：通过构建任务依赖图并按拓扑排序安排任务顺序（难度递进 + 技能复用），能显著提高技能覆盖率和转移机会，这在推荐系统的多阶段流程（召回→粗排→精排→策略）中可借鉴，使上游产出的特征或知识能被下游利用。
- 评估指标可移植：任务重用率和核心技能覆盖率可作为量化连续学习环境质量的指标，用于检测推荐序列中是否存在有效的知识迁移路径。
面向端侧上下文学习的无梯度任务条件检索
🧭 输出条件化的无梯度检索对齐
City University of Hong Kong · Institute of Automation Chinese Academy of Sciences
CoRA 利用输出信息构建条件空间，无需微调即可将冻结编码器转为任务导向检索器，支持端侧多模态示例选择
📌 工作参考价值（4 点）
- 无梯度任务适配：在推荐或搜索中，可用少量任务样本（如高转化 item 的标题或图像）构建条件空间，将已有编码器快速适配为任务专用检索器，无需重新训练或反向传播，适合快速 A/B 测试。
- 端侧高效检索：低秩压缩将检索索引缩小至原始表示的 1/50~1/100，且查询时仅需输入编码和预计算索引，适合移动端或边缘设备的实时个性化推荐。
- 多模态扩展：可将商品图、详情描述等视觉特征纳入条件空间，直接检索多模态示例，为图文推荐或广告创意优选提供轻量方案。
- 离线构造与双通流式处理：采用闭式岭回归和双通算法避免储存完整拟合矩阵，可处理百万级候选集，适合大规模电商场景下构建任务条件索引。
样本高效地从智能体经验中学习
🧭 Agent 经验蒸馏 · 样本高效学习 ★ 深度解读
Monash University · ByteDance Seed
提出经验蒸馏，无需额外环境交互即可将 ICL 增益蒸馏到模型权重，保留 64.8% 增益，比 SFT 高 17 倍，比 RL 节省 9.6 倍样本
📌 工作参考价值（4 点）
- 在对话式推荐或 Agent 系统中，利用用户历史交互作为上下文进行 ICL，再通过单步经验蒸馏将改进的行为固化到模型权重，可大幅减少线上推理时的上下文长度和成本。
- 分支打包技术能够在单个训练序列中高效利用长交互历史中的多个决策点，可迁移至用户行为序列建模，如将多次推荐点击/转化作为监督信号紧凑打包训练。
- 模型自由的单步蒸馏避免了世界模型误差和额外的线上交互，适用于推荐场景中的离线日志训练，无需重新部署模型到线上试验即可提升策略。
- 可借鉴多任务经验蒸馏实现零样本或小样本任务泛化，通过多用户群体的历史经验蒸馏提升模型对新用户的冷启动表现。
掩码扩散语言模型的双向归纳电路与隐式时间步分析
🧭 扩散语言模型机制分析 · 上下文学习
National University of Science and Technology POLITEHNICA Bucharest
发现扩散语言模型用双向归纳电路实现上下文学习，且以全局掩码比例作隐式时间步
📌 工作参考价值（4 点）
- 对于电商搜索中的序列建模，可借鉴双向上下文访问的思路：在允许未来信息的场景（如离线重排）下，利用扩散模型隐式地融合下文，提升对用户意图的推断准确性。
- 隐式时间步的发现提示：在设计扩散式推荐或生成式检索时，可以省略显式时间步嵌入，让模型从噪声比例中自学习去噪进度，简化工程实现。
- 归纳电路的分析方法（激活修补、因果追踪）可以迁移到推荐模型的解释性工作中，例如定位关键注意力头，帮助 debug 召回结果中的主观偏差。
- 当仅左上下文可用时，DLM 的 induction 能力并不优于自回归模型，因此若线上真实场景只能获取左侧历史行为，盲目切换生成范式未必带来增益，需根据上下文可获取性选择架构。
划分、提示、聚合：语言模型的统计自洽性
🧭 LLM概率校准与统计自洽性评估
Max Planck Institute for Intelligent Systems, Tübingen, Germany · ETH Zürich · ELLIS Institute, Tübingen · Tübingen AI Center
揭示LLM在上下文条件推断中普遍违反全概率公式，提出无参考的统计自洽性评估准则
📌 工作参考价值（4 点）
- 在电商/广告人群预测中，用LLM直接估计总体指标（如点击率、购买概率）可能不准，可改用树形属性划分（年龄、性别、消费层级），分别询问细粒度子群体概率，再按真实分布加权聚合，往往比总体提示更贴近真实数据。
- 构建推荐Agent的推理模块时，可加入自洽性检查：对同一用户群按不同维度划分（如兴趣标签、行为序列），要求LLM给出条件概率，然后验算聚合后是否满足全概率公式；不一致的地方可作为潜在偏差或知识盲区定位。
- 论文提出的无参考评估方法（Partition-Prompt-Aggregate）可直接用于检测推荐解释或用户画像生成中的群体偏见，无需人工标注，只需设计合理的树状划分schema即可量化LLM的统计自洽性。
- 实验发现的“宏观谬误”提示：使用LLM做粗粒度决策（如全局策略生成）时，可先查询细粒度子场景估计再汇总，可能提升决策质量，例如在广告预算分配中先按渠道、人群细分询问效果再聚合。
基于神经元感知的主动少样本学习用于大语言模型
🧭 LLM少样本选择 · 内部表征利用
University of Pittsburgh
通过神经元激活模式替代输出层信号，同时考虑多样性和易幻觉样本，更有效地挑选少样本标注数据
📌 工作参考价值（4 点）
- 电商/搜索推荐场景中，若需用少样本示例将通用LLM适配到特定垂直领域（如商品分类、Query意图识别），可借鉴NeuFS的神经元激活模式筛选样本：用激活向量聚类保证样例多样性覆盖领域知识，同时通过神经元共识度量化样本的“易幻觉”程度，优先标注这类高信息量样本，减少人工标注量。
- 内部神经元信号比外部embedding（如SimCSE）更能捕捉模型自身知识缺口，在做LLM评测或诊断时，可以分析神经元激活分歧来定位模型在哪些Query/商品上更容易产生幻觉，进而针对性补充训练数据。
- 该方法依赖对LLM神经元激活的访问，对于仅提供API的黑盒模型不适用；但在自有部署的开源LLM上（如LLaMA），可将其集成到数据飞轮流程中，实现持续、低成本的模型垂直调优。
- 双准则选择策略（多样性+幻觉倾向）可解耦后单独使用：多样性准则可迁移到推荐系统的物品表征学习或Review示例选取；幻觉倾向量化可为对话式推荐Agent的回复可靠性评估提供信号参考。
多任务贝叶斯上下文学习
🧭 摊销贝叶斯推理 · 先验自适应上下文学习
New York University · NYU Langone Health
将先验信息表示为上下文数据集前缀，训练Transformer快速适应不同先验的贝叶斯预测推理
📌 工作参考价值（4 点）
- 在推荐系统中，利用类似上下文学习机制快速适应新的用户群体或变化偏好：将少量历史交互作为上下文示例，模型动态调整预测分布，无需微调。
- 为推荐模型提供轻量级的不确定性量化：预测分布可直接用于探索-利用决策，提升数据效率。
- 将用户/物品元特征或领域知识构造为先验前缀，使模型在推理时即插即用适应新场景，缓解冷启动与分布偏移问题。
- 工程上可作为元学习组件嵌入现有多任务推荐管道，只需增加少量上下文 token 开销，实现快速任务适应。
上下文多示例学习
🧭 多示例学习 · 上下文预训练
Berlin Institute for the Foundations of Learning and Data · Technische Universität Berlin · Aignostics · Charité – Universitätsmedizin Berlin · Max-Planck Institute for Informatics
合成数据预训练Perceiver上下文学习器，单次前向传播实现少标签MIL分类，平均性能超越专训基线
📌 工作参考价值（4 点）
- 电商推荐中可将用户行为序列视为袋，利用少量已标记袋（如购买）进行多示例弱监督，识别关键行为物品
- 上下文学习范式可实现推理时仅提供少量示例即适应新推荐任务，免去逐任务微调，适合多场景快速上线
- 合成数据预训练策略可迁移至推荐冷启动：生成合成用户会话数据预训练排序模型，增强小样本下的归纳偏置
- Perceiver 架构可高效处理任意长度用户行为序列，无需截断或填充，适合推荐系统长序列建模
连续处理下的因果基础模型
🧭 因果基础模型 · 连续处理
首个面向连续处理的因果基础模型，通过元学习和上下文学习实现个体处理效应曲线的零样本预测
📌 工作参考价值（4 点）
- 电商中价格、折扣、广告预算等连续干预的因果效应估计，可借鉴该模型的元学习思路，预训练一个能快速适应新场景的基础模型，避免每次活动都从零建模。
- 利用合成数据生成丰富的因果训练集（类似论文的 prior over DGPs），可大幅降低真实业务标注成本，尤其适合干预变量连续且实验成本高的场景。
- Transformer 作为结构，以上下文学习方式直接输出个体处理效应曲线，相比传统的反事实预估模型，能更细粒度地刻画异质性，为个性化定价或补贴决策提供依据。
- 该模型展示的“摊销贝叶斯后验”思想，可启发我们在推荐系统中用统一的神经网络替代反复的 MCMC 推断，提升在线实验效率。